Kompressionsbasierte Mustererkennung

3 Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Kurzfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1 Einleitung 5 1.1 Mustererkennung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 1.2 Kompression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.3 Kompressionsbasierte Mustererkennung . . . . . . . . . . . . . . . . 10 1.4 Regularisierung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2 Theorie der NCD 13 2.1 Kolmogorovkomplexität . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2 Informationsdistanzmaße . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3 Kompressionsdistanzen . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.3.1 Eigenschaften der NCD . . . . . . . . . . . . . . . . . . . . 26 2.4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3 Praxis der NCD 29 3.1 Kompressionsverfahren . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.1.1 Huffmancodierung . . . . . . . . . . . . . . . . . . . . . . . 30 3.1.2 Lauflängencodierung . . . . . . . . . . . . . . . . . . . . . . 33 3.1.3 Lempel-Ziv Verfahren . . . . . . . . . . . . . . . . . . . . . 33 3.2 NCD auf diskreten Daten . . . . . . . . . . . . . . . . . . . . . . . . 36 3.2.1 Anwendungsfall: Entity Identification . . . . . . . . . . . . . 36 3.2.2 Experimente . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.3 NCD auf kontinuierlichen Daten . . . . . . . . . . . . . . . . . . . . 64 3.3.1 NCD auf Grafiken . . . . . . . . . . . . . . . . . . . . . . . 64 4 Theorie der kompressionsbasierten Mustererkennung 67 4.1 Regularisierung und Sparse Coding . . . . . . . . . . . . . . . . . . 70 4.1.1 Matching pursuit . . . . . . . . . . . . . . . . . . . . . . . . 71 4.1.2 Basis pursuit . . . . . . . . . . . . . . . . . . . . . . . . . . 74 4.2 Vektorräume basierend auf redundanten Wörterbüchern . . . . . . . . 76 4.3 Der gewöhnliche Koordinatenabbildungsprozess . . . . . . . . . . . . 77 4.4 RDS Vektorräume . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 4.5 Die Projektion vektorieller und nicht vektorieller Daten auf Vektorräume, basierend auf redundanten Wörterbüchern . . . . . . . . . . . 82 4.5.1 Projektion . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 4.5.2 Tightening . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.5.3 Skalarproduktkernel . . . . . . . . . . . . . . . . . . . . . . 84 VI Inhaltsverzeichnis 4.5.4 Mathematische Demonstration . . . . . . . . . . . . . . . . . 85 4.6 Kompressionsbasierte Mustererkennung . . . . . . . . . . . . . . . . 87 4.7 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 5 Praxis der kompressionsbasierten Mustererkennung 97 5.1 Diskrete Mustererkennung . . . . . . . . . . . . . . . . . . . . . . . 98 5.1.1 Genomgruppierung . . . . . . . . . . . . . . . . . . . . . . . 98 5.1.2 Gruppierung russischer Autoren . . . . . . . . . . . . . . . . 100 5.2 Kontinuierliche Mustererkennung . . . . . . . . . . . . . . . . . . . 102 5.2.1 Wörterbuchberechnung . . . . . . . . . . . . . . . . . . . . . 102 5.2.2 Phonemeklassifikation . . . . . . . . . . . . . . . . . . . . . 103 5.2.3 Verrauschte Phonemeklassifikation . . . . . . . . . . . . . . 105 5.2.4 Bildklassifikation . . . . . . . . . . . . . . . . . . . . . . . . 107 5.2.5 Texturbilderklassifikation . . . . . . . . . . . . . . . . . . . . 109 5.3 Analyse nichtvektorieller Daten . . . . . . . . . . . . . . . . . . . . 112 5.3.1 Selbstorganisierende Karten . . . . . . . . . . . . . . . . . . 113 5.3.2 Reuters Newswire Artikel . . . . . . . . . . . . . . . . . . . 114 5.3.3 Finanzmarkt Daten . . . . . . . . . . . . . . . . . . . . . . . 115 5.3.4 Bilddaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 6 Zusammenfassung 121 6.1 NCD und Kolmogorovkomplexität . . . . . . . . . . . . . . . . . . . 121 6.2 Praktische Anwendung der NCD . . . . . . . . . . . . . . . . . . . . 122 6.3 Kompressionsbasierte Mustererkennung . . . . . . . . . . . . . . . . 122 6.4 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 Literaturverzeichnis 125 SYMBOLUND ABKÜRZUNGSVERZEICHNIS 〈x, y〉R Das innere Produkt der Vektoren x und y bezüglich des Wörterbuchraums R (Definition 4.2) bzip2 Ein populäres Kompressionsverfahren (Seite 30) C(x) Ein Kompressor (4.5) D Ein Wörterbuch (Seite 68) ETL Extract-Transform-Load: Der Prozess des Einlesens von Daten aus unterschiedlichen Datenquellen in ein Datawarehouse (Seite 38) F Ein beliebiger Vektorraum mit möglicherweise unterschiedlichen Vektorraumnormen (Kapitel 4.2). Wir werden mit diesem Vektorraum meist Funktionenräume assoziieren. gzip Eine populäre Implementierung des LZ77 Algorithmuses (Seite 48) K(x) Beschreibungskomplexität oder auch Kolmogorov Komplexität (Seite 20) KA(y|x) Bedingte Beschreibungskomplexität (Definition 2.3) kontinuierlich Eine Bezeichnung für eine Menge mit überabzählbarem Wertevorrat (Seite 8) dNCD(x, y) Die Normalisierte Kompressionsdistanz zwischen x und y (Definition 2.13) NCD Die Normalisierte Kompressionsdistanz (Definition 2.13) dNID(x, y) Die Normalisierte Informationsdistanz zwischen x und y (Definition 2.10) NID Die Normalisierte Informationsdistanz (Definition 2.10) Ωb Die Menge der binären Zeichenketten (Seite 24) RDS, R Redundante Wörterbuchräume (Kapitel 4.2). S Ein beliebiger (Koordinaten-)Vektorraum mit möglicherweise unterschiedlichen Vektorraumnormen (Kapitel 4.2). 2 Symbole und Abkürzungen